This Page Is Inserted by IFW Operations 
and is not a part of the Official Record 

BEST AVAILABLE IMAGES 

Defective images within this document are accurate representations of 
the original documents submitted by the applicant. 

Defects in the images may include (but are not limited to): 

• BLACK BORDERS 

• TEXT CUT OFF AT TOP, BOTTOM OR SIDES 

• FADED TEXT 

• ILLEGIBLE TEXT 

• SKEWED/SLANTED IMAGES 

• COLORED PHOTOS 

• BLACK OR VERY BLACK AND WHITE DARK PHOTOS 

• GRAY SCALE DOCUMENTS 

IMAGES ARE BEST AVAILABLE COPY. 



As rescanning documents will not correct images, 
please do not report the images to the 
Image Problem Mailbox. 



I 



THIS PAGE BLANK Uf™> 



Attorney Docket No. 1454.1081 

IN THE UNITED STATES PATENT AND TRADEMARK OFFICE 0 

In re Patent Application of: •« 

Horst-Udo HAIN =>< 

Application No.: NEW Group Art Unit: To be assigned ? c 

Filed: August 31 , 2001 Examiner: To be assigned 

For: ASSIGNMENT OF PHONEMES TO THE GRAPHEMES PRODUCING THEM 

SUBMISSION OF CERTIFIED COPY OF PRIOR FOREIGN 
APPLICATION IN ACCORDANCE 
WITH THE REQUIREMENTS OF 37 C.F.R. §1.55 

Assistant Commissioner for Patents 
Washington, D.C. 2023I • '• 

Sir: 

In accordance with the provisions of 37 C.F.R. §1.55, the applicant(s) submit(s) herewith 
a certified copy of the following foreign application: 

German Patent Application No. 100 42 943.2 

Filed: August 31, 2000 

It is respectfully requested that the applicant(s) be given the benefit of the foreign filing 
date(s) as evidenced by the certified papers attached hereto, in accordance with the 
requirements of 35 U.S.C. §119. 

Respectfully submitted, 
STAAS & HALSEY LLP 

Date: I flQgf By: MJbtffftbj 

o ' Mark J. Henry / 



700 11th Street, N.W., Ste. 500 
Washington, D.C. 20001 
(202) 434-1500 



Registration No. 36,162 



THIS PAGE BLANK (uspto) 



BUNDESREPUBLIK DEUTCCHLAND 




Prioritatsbescheinigung iiber die Einreichung 
einer Patentanmeldung 



to<v\ 



Aktenzeichen: 
Anmeldetag: 
Anmelder/lnhaber: 
Bezeichnung: 



100 42 943.2 



31 . August 2000 



Siemens Aktiengesellschaft, Munchen/DE 



Zuordnen von Phonemen zu den sie erzeugenden 
Graphemen 



IPC: 



G 10 L 13/08 



Die angehefteten Stiicke sind eine richtige und genaue Wiedergabe der ur- 
sprunglichen Unterlagen dieser Patentanmeldung. 



Munchen, den 1. August 2001 
Deutsches Patent- und Markenamt 
Der President 

Im Auftrag 



Jercfstafr 



THIS PAGE BLANK Sf" 0 * 



200014687 




Beschreibung 

Zuordnen von Phonemen zu den sie erzeugenden Graphemen 

5 Die Erfindung betrifft ein Verfahren, ein Computerprogramm- 
produkt, einen Datentrager und ein Computer system zum Zuord- 
nen von Phonemen zu den sie erzeugenden Graphemen in einem 
Lexikon mit Wortern (Graphemf olgen) und deren zugehoriger 
Lautschrift (Phonemf olgen) . 

10 

Sprachverarbeitungsverf ahren sind beispielsweise aus US 
6 029 135, US 5 732 388, DE 19636739 CI und DE 19719381 CI 
bekannt. Fur automatisches Vorlesen oder die Erweiterung des 
Wortschatzes von Diktiersystemen bzw. von automatischen 
15 Spracherkennungssystemen werden Routinen zur Graphem-Phonem- 
Konvertierung benotigt, d.h. zur Umwandlung geschriebener 
Worter in gesprochene Laute. Dazu werden haufig Neuronale 
Netze eingesetzt. 

20 Das Training dieser Neuronalen Netze erfolgt mit Hilfe von 
Mustern. Ein Muster besteht aus einer Anzahl von Buchstaben 
aus einem Wort, mit denen die Eingangsknoten des Neuronalen 
Netzes beaufschlagt werden, und dem zugehorigen Phonem, ent- 
^ sprechend dem Ausgangsknoten . Haufig wird jedem Phonem auch 
25 noch ein sog. Gruppierungswert zugeordnet. Der Gruppierungs- 
wert gibt die Anzahl der Grapheme an, die das zugehorige Pho- 
nem erzeugen. 

Die Muster werden aus sogenannten Trainingslexika gewonnen. 
30 Ein Trainingslexikon enthalt Zuordnungen von Graphemen, in 

der Regel Worter, Ziffern etc., also all dem, was konvertiert 
werden soil, zu Phonemen und Phonemf olgen, also Graphem- 
Phonem-Transkriptionen auf der Ebene von Wortern. Die Phonem- 
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folgen werden im Trainingslexikon durch eine geeignete Art 
von Lautschrift wiedergegeben . Im Bereich der automatischen 
Spracherkennung werden haufig die Lautschrif ten SAMPA oder 
Spicos-Inventar verwendet, die auf ASCI I-Zeichen beruhen, 
Beispielhaft seien einige deutsche Worter aufgefuhrt mit der 
zugehorigen Lautschrift in SAMPA: 



Quatsch 

spat 

Schutz 

schwer 

Sprache 



kv'atS 
SpE: t 
SUts 
Sve : 6 
Spra : x@ 



Der Laut "sch" wird z.B. durch [S] dargestellt, Dehnungen 
durch einen Doppelpunkt. Dabei werden Phoneme in eckigen 
Klammern [] dargestellt, Grapheme im spitzen Klammern <>. 
Samtliche Lautschrif t-Beispiele der Beschreibung werden in 
SAMPA wiedergegeben . 

Diese Trainingslexika enthalten zwar die Lautschrift, jedoch 
nicht die eindeutige Zuordnung von Phonemen und die sie er- 
zeugenden Grapheme, wie sie fiir die Muster notwendig sind. 
Zum Beispiel fur das Wort <Sprache> ware die folgende Zuord- 
nung wiinschenswert : 



Grapheme 


S 


P 


r 


a 


c 


h 


e 


Phoneme 


S, 1 


P, 1 


r, 1 


a:, 1 


x, 2 




@, 1 



aus der sich leicht die Muster fur das Training des Neurona- 
len Netzes ableiten lassen. Bei einem Eingangsf enster mit 7 
Buchstaben ergeben sich aus der eindeutigen Zuordnung unmit- 
telbar die folgenden 6 Muster: 
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1. 

Muster 


Eingang 








S 


P 


r 


a 


Ausgang 


S, 1 



Der Graphemfolge aus 3 Leerzeichen, <S>, <p>/ <r> und <a>, 
wobei <S> sich zentral im Eingangsf enster befindet, wird der 
Laut [S] mit dem Gruppierungswert 1 zugeordnet . Entsprechend 
erhalt man als weitere Muster: 



2. 

Muster 


Eingang 






S 


P 


r 


a 


c 


Ausgang 


P. 1 




3. 

Muster 


Eingang 




S 


P 


r 


a 


c 


h 


Ausgang 


r, 1 




4. 

Muster 


Eingang 


S 


P 


r 


a 


c 


h 


e 


Ausgang 


a : , 1 




5. 

Muster 


Eingang 


P 


r 


a 


c 


h 


e 




Ausgang 


x, 2 



Dem Ach-Laut oder stimmlosen velaren Frikativ "ch" ist gemafl 
den Segmentierungsregeln ein Gruppierungswert von 2 zugeord- 
net, da ihm die beiden Buchstaben <c> und <h> zugeordnet 
sind. Daher kann im folgenden Muster das Buchstabenf enster urn 
2 Buchstaben verschoben werden: 



6. 
Muster 


Eingang 


a 


c 


h 


e 








Ausgang 


0/ 1 



Die Zuordnung von Buchstaben zu Phonemen ergibt sich aus der 
Lautschrift des Lexikons jedoch nicht eindeutig. Das Wort 
<Sprache> besteht aus 7 Buchstaben, aber nur aus 6 Phonemen. 
Es stellt sich die Frage, welches der Phoneme durch 2 Buch- 
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staben erzeugt wird. Da auch 2 Phoneme durch einen Buchstaben 
erzeugt werden konnen, z.B. [ks] durch <x>, ist die Unsicher- 
heit in der Graphem-Phonem-Zuordnung fur die Muster ein all- 
gemeines Problem. 

Bisher wurde die Graphem-Phonem-Zuordnung halbautomatisch 
durchgefuhrt, ausgehend von fur einen Muttersprachler eviden- 
ten Erfahrungsregeln, was jedoch insbesondere beim mehrspra- 
chigen Systemen f ehleranf allig ist und einen erheblichen Auf- 
wand darstellt. 

Aufgabe der Erfindung ist es, die Zuordnung von Phonemen zu . 
den sie erzeugenden Graphemen fur Muster fur das Training ei- 
nes Neuronalen Netzes fur die Graphem-Phonem-Konvertierung 
automatisch zu erzeugen. 

Diese Aufgabe wird erf indungsgemali durch ein Verfahren, ein 
Computerprogrammprodukt, einen Datentrager und ein Computer- 
system gemali den unabhangigen Anspriichen gelost. 

Unter einem Computerprogrammprodukt wird dabei das Computer- 
programm als handelbares Produkt verstanden, in welcher Form 
auch immer, z.B. auf Papier, auf einem computerlesbaren Da- t 
tentrager, uber ein Netz verteilt etc. 

Erf indungsgemali wird das Zuordnen von Phonemen zu den sie er- 
zeugenden Graphemen in einem Lexikon mit Wortern (Graphemfol- 
gen) und deren zugehoriger Lautschrift (Phonemf olgen) mit 
Hilfe eines Algorithmus der dynamischen Zeitanpassung (DTW, 
Dynamic Time Warping) durchgef uhrt . 

DTW-Algorithmen sind eine Variante der dynamische Programmie- 
rung. Sie sind z.B. beschrieben in: 
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1. Hoffmann, R. : "Signalanalyse und -erkennung . " Springer 
Verlag, Berlin, Heidelberg, 1998, S. 390 - 393. 

2. Rabiner, L.R.; Juang, B.-H.: "Fundamentals of speech re- 
cognition." Englewood Cliffs: Prentice Hall 1993 (Prentice 
Hall Signal Processing Series) . 

3. Besling, S.: "Heuristical and Statistical methods of Gra- 
pheme-to-Phoneme Conversion"; Proceedings KONVENS 94, 
Wien, S. 23 - 31. 

Vorzugsweise werden in einem ersten Schritt Worter ausge- 
wahlt, bei denen die Anzahl der Grapheme und die Anzahl der 
Phoneme ubereinstimmen . Bei diesen Wortern werden die Graphe- 
me und Phoneme in der Reihenfolge der Angabe ihrer Grapheme 
und Phoneme im Lexikon einander zugeordnet. Aus diesen Zuord- 
nungen wird die relative Haufigkeit ermittelt, mit der ein 
Phonem durch ein Graphem erzeugt wird. Alternativ kann auch 
die relative Haufigkeit bestimmt werden, mit der ein Graphem 
einem Phonem zugeordnet wird. 

In einem zweiten Schritt wird fur jedes Wort des Lexikons ei- 
ne zweidimensionale Matrix erstellt, die sog. Inzidenzmatrix, 
deren einer Index durch die Grapheme des Worts und deren 
zweiter Index durch die Phoneme des Worts gegeben ist. Als 
Eintrage der Matrix werden die zu dem jeweiligen Phonem- 
Graphem-Paar gehorenden, im ersten Schritt bestimmten, rela- 
tiven Haufigkeiten gewahlt. 

In einem dritten Schritt wird jeder Matrixeintrag durch eine 
mathematische Operation, insbesondere eine Multiplikation, 
mit dem Extremalwert , der vorzugsweise der Maximalwert ist, 
der folgenden drei vorhergehenden Matrixeintrage verknupft: 
dem Eintrag fur dasselbe Phonem und das vorhergehende Graphem 
im Wort, dem Eintrag flir das vorhergehende Phonem und dassel- 
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be Graphem im Wort und dem Eintrag fur das vorhergehende Pho- 
nem und das vorhergehende Graphem im Wort, Statt der Multi- 
plication sind auch andere Rechenoperationen denkbar, etwa 
eine Addition der Kehrwerte der Matrixeintrage oder andere, 
in der dynamischen Programmierung bewahrte Operationen. 

Bei der Multiplication wird mit dem ersten Graphem und dem 
ersten Phonem des Worts begonnen, wobei bei der Bestimmung 
der Maximalwerte die sich jeweils aus den Multiplikationen 
ergebenen geanderten Eintrage der Matrix herangezogen werden 
Durch das Bestimmen, welcher der drei vorhergehenden Matrix- 
eintrage eines Matrixeintrags maximal war, wird eine Schritt 
richtung fur diesen Matrixeintrag ermittelt. 

In einem vierten Schritt wird ausgehend vom Matrixeintrag fu 
das letzte Phonem und das letzte Graphem jeweils die fur den 
Matrixeintrag ermittelte Schrittrichtung entlang ein Weg 
durch die Matrix definiert bis zum Matrixeintrag fur das ers 
te Phonem und das erste Graphem. Die zu dem Weg gehorenden 
Matrixelemente definieren die Zuordnung von Graphemen zu Pho 
nemen des Worts. 

Das Lexikon ist danach konsistent aufbereitet. Das erfin- 
dungsgemalie Verfahren kann fur das Erzeugen von Mustern zum 
Training von Neuronalen Netzen angepasst werden. 

Nach Ausfuhren der Zuordnung von Graphemen zu Phonemen fur 
jedes Wort des Lexikons, wird. aus diesen Zuordnungen die po- 
sitionsabhangige relative Haufigkeit ermittelt, mit der ein 
Phonem durch zwei oder mehr Grapheme erzeugt wird oder zwei 
oder mehr Phoneme durch ein Graphem erzeugt werden oder zwei 
oder mehr Grapheme einem Phonem zugeordnet werden oder ein 
Graphem zwei oder mehr Phonemen zugeordnet wird. Dies ermog- 
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licht es, in einem weiteren Schritt Korrekturen an den Zuord- 
nungen vor zunehmen . 

Diese korrigierten Zuordnungen konnen zum iterativen Verbes- 
sern der relativen Haufigkeiten und damit der Zuordnungen 
eingesetzt werden. Dazu werden nach dem Korrigieren der Zu- 
ordnungen fur jedes Wort des Lexikons aus diesen korrigierten 
Zuordnungen erneut die positionsabhangigen relativen Haufig- 
keiten ermittelt. Diese werden bei weiteren Zuordnungen ver- 
wendet. 

Beim Bestimmen der relativen Haufigkeiten ist es vorteilhaft, 
nur solche Zuordnungen zu berucksichtigen, bei denen der Mat- 
rixeintrag fur das letzte Phonem und das letzte Graphem nach 
Ausfuhren der Multiplikationen einen vorgegebenen Schwellwert 
uberschreitet . Auf diese Weise werden lange Worter ausgefil- 
tert, bei denen die Zuordnung unsicher ist, ebenso wie sehr 
seltene und damit unsichere Zuordnungen. 

Vorteilhafterweise wird filr die Matrixeintrage eindeutiges 
Vorwissen genutzt, urn stabile Fixpunkte zu schaffen. So wird 
z.B. der Matrixeintrag fur das erste Phonem und das erste 
Graphem jedes Worts auf 1 gesetzt, ebenso wie der Matrixein- 
trag fur das letzte Phonem und das letzte Graphem jedes 
Worts. Diese beiden Eintrage bilden den Startpunkt bzw. End- 
punkt des zu bestimmenden Weges und mussen auf jeden Fall 
durchlaufen werden. Andererseits werden der Matrixeintrag fur 
das erste Phonem und das letzte Graphem jedes Worts sowie der 
Matrixeintrag fur das letzte Phonem und das erste Graphem je- 
des Worts auf 0 gesetzt, denn diese Zuordnungen sind grund- 
satzlich aus ges chlos sen . 
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Bei der Bestimmung des Maximums im Zusammenhang mit der Mul- 
tiplikation wird die Diagonale als der wahrscheinlichste Weg 
bevorzugt. D.h., dass, falls bei der Bestimmung des Maximal- 
werts der drei vorhergehenden Matrixeintrage der Matrixein- 
trag fur das vorhergehende Phonem und das vorhergehende Gra- 
phem im Wort und einer der anderen beiden Eintrage gleich 
grofi sind, der Matrixeintrag fur das vorhergehende Phonem und 
das vorhergehende Graphem im Wort als maximal betrachtet 
wird . 

Weitere vorteilhafte Weiterbildungen der Erfindung sind in 
den Unteranspriichen gekennzeichnet . ^ 

Im folgenden wird die Erfindung anhand von Ausf uhrungsbei- 
spielen naher erlautert, die in den Figuren schematisch dar- 
gestellt sind. Im einzelnen zeigt: 

Fig. 1 ein zum Zuordnen von Phonemen zu den sie erzeugen- 
den Graphemen in einem Lexikon geeignetes Compu- 
tersystem; 

Fig. 2 eine Matrix mit einer 1-zu-l Zuordnung von Graphe- 
men und Phonemen fur das Wort <haben>; 

Fig. 3 eine Matrix der Zuordnung von Graphemen und Phoner 
men fur das Wort <textlich>; 

Fig. 4 die Matrix der Ubergangshauf igkeiten fur die Zu- 
ordnung von Graphemen und Phonemen fur das Wort 
<konnen>; 

Fig. 5 die Matrix gemafi Fig. 4 nach Ausfuhren von Multi- 
pi ikationen; und 

Fig. 6A eine Matrix gemaii Fig. 5 fur das Wort <yield>; 
und 

Fig. 6B die Matrix gemafl Fig. 6A nach einer Korrektur der 
Zuordnung von Graphemen und Phonemen. 
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Fig. 1 zeigt ein zum Zuordnen von Phonemen zu den sie erzeu- 
genden Graphemen geeignetes Computer system. Dieses weist ei- 
nen Prozessor (processor, CPU) 20, einen Arbeitsspeicher 
5 (RAM) 21, einen Programmspeicher (programm memory, ROM) 22, 
einen Festplatten-Controller (hard disc controller, HDC) 23, 
der eine Festplatte (hard disk) . 30 steuert, und einen 
Schnittstellen-Controller (I/O controller) 24 auf. Prozessor 
20, Arbeitsspeicher 21, Programmspeicher 22, Festplatten- 
10 Controller 23 und Schnittstellen-Controller 24 sind liber ei- 
nen Bus, den CPU-Bus 25, zum Austausch von Daten und Befehlen 
miteinander gekoppelt. Ferner weist der Computer einen Ein- 
/Ausgabe-Bus (I/O Bus) 2 6 auf, der verschiedene Ein- und Aus- 
gabeeinrichtungen mit dem Schnittstellen-Controller 24 kop- 
15 pelt. Zu den Ein- und Ausgabeeinrichtungen zahlen z.B. eine 

allgemeine Ein- und Ausgabe-Schnittstelle (I/O interface) 27, 
eine Anzeigeeinrichtung (display) 28, eine Tastatur (key- 
board) 29 und eine Maus 31. 

20 Im Folgenden wird beschrieben, wie die Zuordnung von Phonemen 
zu sie erzeugenden Graphemen fur ein Wort durchgefuhrt wird. 



In der folgenden Beschreibung werden verschiedene relative 
Haufigkeiten zur Berechnung der besten Zuordnung verwendet, 
25 die im Folgenden in der Regel kurz mit Haufigkeiten bezeich- 
net werden. Die Haufigkeit, mit der das Graphem g dem Phonem 
p zugeordnet wird, auch Obergangshauf igkeit genannt, berech- 
net sich aus 



30 Dabei ist Z (g->p) die Anzahl der Zuordnungen des Graphems g, 
im Folgenden durch <g> bezeichnet, zu dem Phonem p, im Fol- 
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genden durch [p] bezeichnet, und N(p) die Anzahl aller Zuord- 
nungen samtlicher Grapheme zu diesem Phonem [p] . 

Es werden noch weitere Haufigkeiten benotigt, da zur endgiil- 
tigen Entscheidung uber die Zuordnungen die relative Haufig-' 
keit der direkten Zuordnung eines Graphems zu einem Phonem 
nicht ausreicht. Daher werden noch positionsabhangige Haufig- 
keiten in Graphemgruppen <G> sowie die Vorganger- und Nach- 
folgerhauf igkeiten bestimmt, die die Abhangigkeiten der Zu- 
ordnung zu Phonemen von den vorhergehenden und nachf olgenden 
Graphemen wider spiegeln . 

Unter einer positionsabhangigen Haufigkeit HP os versteht man 
die Haufigkeit, mit der das Graphem an einer bestimmten Posi- 
tion innerhalb einer Graphemgruppe <G> einem Phonem zugeord- 
net wird. So findet sich z.B. bei der Zuordnung der Graphem- 
gruppe <ch> zum Phonem [C] das Graphem <c> an erster und das 
Graphem <h> an zweiter Position. Dabei ist [C] der stimmlose 
palatale Frikativ oder Ich-Laut, wie in <Sicht>. 

Die Haufigkeit HP os berechnet sich aus 

Tjposf _ I . n u \ Z fe p\ g in <G> an Pos i) 

H p [g -> p\gm<G>anPosi)= ! — ^ 



Zur Initialisierung der Ubergangshauf igkeiten werden die Ein- 
trage in einem Lexikon mit Wortern und deren Lautschrift ver- 
wendet, bei denen die Anzahl der Grapheme mit der Anzahl der 
Phoneme iibereinstimmt . Es wird angenommen, dass jedes Graphem 
dem entsprechenden Phonem zugeordnet ist. Dies ist in Fig. 2 
durch die diagonal verlaufende Linie dargestellt. 

Diese direkte Zuordnung ist nicht immer korrekt, wie etwa das 
Beispiel <textlich> aus Fig. 3 zeigt, in der die Linie fur 
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die Zuordnungen nicht einfach diagonal verlauft. Die Anzahl 
der Grapheme im Wort <textlich> stimmt mit der Anzahl der 
Phoneme uberein. Es sind jeweils 8. Jedoch wird der Buchstabe 
<x> auf zwei Phoneme [ks] abgebildet und die Buchstabengruppe 
<ch> auf nur ein Phonem [C] . Da derartige Ausnahmen jedoch 
relativ selten auftreten, werden sie bei der Anwendung der 
relativen Haufigkeiten entsprechend gering gewichtet. Aufier- 
dem werden alle Haufigkeiten, die einen bestimmten Schwell- 
wert unterschreiten, in einem spateren Korrekturschritt ent- 
f ernt . 

Die Zuordnungen werden gezahlt, und aus ihnen werden die re- 
lativen Haufigkeiten bzw. Ubergangshauf igkeiten bestimmt. 

Mit den im vorhergehenden Schritt gewonnenen relativen Hau- 
figkeiten oder Ubergangshauf igkeiten wird fur jedes Wort im 
Lexikon eine Matrix mit Ubergangshauf igkeiten aufgestellt, 
wie sie in Fig. 4 fur das Wort <konnen> gezeigt ist. 

Dabei werden vier Eintrage fest vorgegeben. Die Eintrage 
links unten und rechts oben mlissen immer durchlaufen werden, 
da sie Start- bzw. Endpunkt sind. Sie werden deswegen auf 1 
gesetzt. Dagegen konnen die Felder links oben und rechts un- 
ten niemals durchlaufen werden. Sie werden daher auf 0 ge- 
setzt. Alle anderen Felder enthalten die entsprechenden Uber 
gangshauf igkeiten H(g->p). 

Bei dieser initialen Zuordnung wurde <n> dem Phonem [9] (ge- 
rundeter halboffener vorderer Vokal "6") zugeordnet. Daher 
steht in den entsprechenden Feldern keine 0, sondern 0.013. 
Man sieht aber, dass diese Haufigkeit viel kleiner ist als 
die ubrigen Haufigkeiten. Sie fallt demnach kaum ins Gewicht 



1 
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Fur die Berechnung des Wegs werden nun die einzelnen Matrix- 
eintrage jeweils mit dem Maximum der Nachbareintrage multip- 
liziert. Da nur die Bewegungen nach oben, nach rechts oder 
nach oben rechts erlaubt sind, werden nur die Werte links, 
5 unten und links unten vom jeweiligen Matrixeintrag aus fur * 
die Bestimmung des Maximums betrachtet. 

Falls bei der Bestimmung des Maximalwerts der Matrixeintrag 
links unten (diagonal) vom jeweiligen Matrixeintrag aus und 
10 einer der anderen beiden Eintrage gleich groft sind, wird der 
diagonal liegende Matrixeintrag als maximal betrachtet. 

Bei der Multiplikation wird mit dem ersten Eintrag unten 
links begonnen, wobei bei der Bestimmung der Maximalwerte die 
15 sich jeweils aus den Multiplikationen ergebenen geanderten 
Eintrage der Matrix herangezogen werden. 

Die erste Spalte und die unterste Zeile stellen Sonderfalle 
dar, da es keinen linken bzw. unteren Nachbarn gibt . Hier 
20 wird der aktuelle Eintrag stets mit dem unteren bzw. dem lin- 
ken Eintrag multipliziert . Die einzelnen sich ergebenden Pro- 
dukte sind in Fig. 5 dargestellt. 

Die akkumulierte Haufigkeit am Endpunkt oben rechts ist somit 
25 das Produkt der Eintrage bzw. Haufigkeiten auf dem optimalen 
Weg vom Startpunkt zum Endpunkt. 

Durch das Bestimmen, welcher der drei vorhergehenden Matrix- 
eintrage maximal war, wird eine Schrittrichtung von Matrix- 
30 eintrag zu Matrixeintrag ermittelt. Ausgehend vom Matrixein- 
trag fur das letzte Phonem und das letzte Graphem (oben 
rechts) wird jeweils entlang der ermittelten Schrittrichtung 
ein Weg durch die Matrix definiert bis zum Matrixeintrag un- 
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ten links. Die zu dem Weg gehorenden Matrixelemente definie- 
ren die Zuordnung von Graphemen zu Phonemen des Worts. 

Anschliefiend erfolgt eine Nachbehandlung zu weiteren Verbes- 
serung der Zuordnung. Die Nachbehandlung dient zum Uberpriifen 
der getroffenen Entscheidungen unter Berucksichtigung des 
Graphem- und Phonem-Kontextes. 

Zunachst wird nach Ausfiihren der beschriebenen Zuordnung von 
Graphemen zu Phonemen fur jedes Wort des Lexikons aus diesen 
Zuordnungen die relative Haufigkeit ermittelt, mit der ein 
Phonem durch zwei oder mehr Grapheme erzeugt wird bzw. zwei 
oder mehr Phoneme durch ein Graphem erzeugt werden, d.h. die 
positionsabhangige Haufigkeit HP os . 

Anschliefiend wird die Zuordnung von Graphemen zu Phonemen in- 
nerhalb eines Worts mit Hilfe der positionsabhangigen Haufig- 
keiten korrigiert. Dazu betrachte man Fig. 6A, die im Aufbau 
Fig. 5 entspricht. Das bisher beschriebene Verfahren liefert 
z.B. fur das englische Wort <yield> die Zuordnung 

yi e 1 d 
zu j i : 1 d 

da die Haufigkeit der Zuordnung des Graphems <i> zum Phonem 
[j] hoher ist (hier 0,04) als die Haufigkeit der Zuordnung 
zum Phonem [i:] (hier 0,03). 

Die positionsabhangigen Haufigkeiten zeigen jedoch, daB die 
Haufigkeit der Zuordnung von <i> zum Phonem [j] klein ist, 
wenn <i> sich an zweiter Position der Graphemgruppe <yi> be- 
findet. Hingegen ist die Haufigkeit der Zuordnung von <i> zum 
Phonem [i:] grofi, wenn <i> sich an erster Position der Gra- 
phemgruppe <ie> befindet. 
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Unterstutzt wird diese korrigierte Zuordnung auch durch die 
Betrachtung der positionsabhangigen Haufigkeit von <e>. Die 
Haufigkeit der Zuordnung von <e> zum Phonem [i:] ist klein, 
wenn <e> sich vor <1> befindet. Hingegen ist die Haufigkeit 
5 der Zuordnung von <e> zum Phonem [i:] groii,. wenn <e> sich an' 
zweiter Position der Graphemgruppe <ie> befindet. 

Entsprechend Fig. 6B kann somit die Zuordnung korrigiert wer- 
den . 

10 

Nach Ausfuhren der korrigierten Zuordnung fur jedes Wort des 
Lexikons werden aus diesen korrigierten Zuordnungen die Uber- L ^ x 
gangshauf igkeiten und die positionsabhangigen Haufigkeiten 
ermittelt. Diese werden bei weiteren Zuordnungen verwendet. 

15 

Zum Bestimmen der relativen Haufigkeiten werden nur solche 
Zuordnungen beriicksichtigt , bei denen der Matrixeintrag fur 
das letzte Phonem und das letzte Graphem (oben rechts) nach 
Ausfuhren der geschilderten Multiplikationen einen vorgegebe- 
20 nen Schwellwert uberschrei tet . Dieser Matrixeintrag ent- 
spricht dem Produkt der Ubergangshauf igkeiten entlang des 
besten Wegs . Die Grofie dieses Produkts wird somit als Krite- 
rium verwendet, ob dieser Weg akzeptiert werden soil oder 
nicht . 

25 

Das Verfahren wird in mehreren Iterationen ausgefiihrt. Dabei 
ist der Schwellwert am Anfang hoch und wird nach jeder Itera- 
tion verkleinert. Dadurch werden am Anfang nur solche Zuord- 
nungen akzeptiert, die relativ sicher richtig sind. Da alle 
30 Haufigkeiten kleiner gleich 1 sind, fliefit indirekt in das 
Produkt auch die Lange des Wortes ein. Je mehr Faktoren das 
Produkt hat, desto kleiner wird es. Somit werden anfangs vor- 
wiegend die Zuordnungen von kurzen Wortern akzeptiert. Bei 
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kurzen Wortern ist die Wahrscheinlichkeit , eine falsche Zu- 
ordnung zu finden, kleiner als bei langen. 

Die Zuordnungen, bei denen das Produkt der Obergangshauf ig- 
keiten den Schwellwert uberschritten hat, werden zur Gewin- 
nung der neuen Statistik herangezogen. Schon bei der ersten 
Auswertung der so gewonnenen Statistik sind die meisten Feh- 
ler verschwunden, die sich durch die eins zu eins Initiali- 
sierung der Haufigkeiten ergaben. Auiierdem wird noch uber- 
prttft, wie haufig jede Graphem-Phonem-Zuordnung auftrat. Wenn 
das Verhaltnis einen Schwellwert unterschreitet , wird diese 
Zuordnung ignoriert und somit beim nachsten Auffullen der 
Matrizen nicht weiter verwendet. 

Im Ergebnis erhalt man eine Zuordnung der Grapheme zu den 
Phonemen fur das gesamte Lexikon. Ferner erhalt man eine Auf- 
stellung, welches Phonem bzw. welche Phonemgruppe durch wel- 
che Grapheme erzeugt werden kann, z.B. [tS] im Englischen 
durch <ch>, <cz>, <c>, <tch>, <cc>, <t> und <che>. 
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Patentansprtiche 

1. Verfahren zum Zuordnen von Phonemen zu den sie erzeugenden 
Graphemen in einem Lexikon mit Wortern (Graphemf olgen) und 
deren zugehoriger Lautschrift ( Phonemf olgen) , 
dadurch gekennzeichnet, 

dass die Zuordnung mit Hilfe eines Algorithmus der dynami- 
schen Zeitanpassung (DTW, Dynamic Time Warping) durchgefuhrt 
wird. 

2. Verfahren zum Zuordnen von Phonemen zu ihnen zuzuordnenden 
Graphemen in einem Lexikon mit Wortern (Graphemf olgen) und 
deren zugehoriger Lautschrift (Phonemf olgen) : 

a) In einem ersten Schritt wird fur jede Zuordnung von Phone- 
men und Graphemen eine relative Haufigkeit ermittelt, mit 
der Phoneme und Grapheme einander zugeordnet werden, . 

b) in einem zweiten Schritt wird fur jedes Wort des Lexikons 
eine zweidimensionale Matrix ( Inzidenzmatrix) erstellt, 
deren einer Index durch die Grapheme des Worts und deren 
zweiter Index durch die Phoneme des Worts gegeben ist, 

c) als Eintrage der Matrix werden die zu dem jeweiligen Pho- 
nem-Graphem-Paar gehorenden, im ersten Schritt bestimmten, 
relativen Haufigkeiten gewahlt, * 

d) in einem dritten Schritt wird jeder Matrixeintrag mit ei- 
ner mathematischen Operation mit dem Extremalwert der fol- 
genden drei vorhergehenden Matrixeintrage verknupft: 

- dem Eintrag fur dasselbe Phonem und das vorhergehende 

Graphem im Wort, 

- dem Eintrag fur das vorhergehende Phonem und dasselbe 

Graphem im Wort und 

- dem Eintrag fiir das vorhergehende Phonem und das vor- 

hergehende Graphem im Wort, 
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e) bei der mathematischen Operation wird mit dem ersten Gra- 
phem und dem ersten Phonem des Worts begonnen, wobei bei 
der Bestimmung der Extremalwerte die sich jeweils aus den 
mathematischen Operationen ergebenden geanderten Eintrage 

5 der Matrix herangezogen werden, 

f) durch das Bestimmen, welcher der drei vorhergehenden Mat- 
rixeintrage eines Matrixeintrags extremal war, wird eine 
Schrittrichtung fur diesen Matrixeintrag ermittelt, 

g) in einem vierten Schritt wird ausgehend vom Matrixeintrag 
10 fur das letzte Phonem und das letzte Graphem jeweils die 

fur den Matrixeintrag ermittelte Schrittrichtung entlang 
ein Weg durch die Matrix definiert bis zum Matrixeintrag 
fur das erste Phonem und das erste Graphem, 

h) die zu dem Weg gehorenden Matrixelemente definieren die 
15 Zuordnung von Graphemen zu Phonemen des Worts. 

3. Verfahren nach mindestens einem der vorhergehenden Ansprii- 
che, 

dadurch gekennzeichnet, 

20 dass die relativen Haufigkeiten im ersten Schritt dadurch er- 
mittelt werden, dass Worter aus dem Lexikon gewahlt werden, 
bei denen die Anzahl der Grapheme und die Anzahl der Phoneme 
ubereinstimmen, und dass bei diesen Wortern die Grapheme und 
Phoneme in der Reihenfolge der Angabe ihrer Grapheme und Pho- 

25 neme im Lexikon einander zugeordnet werden. 

4. Verfahren nach mindestens einem der vorhergehenden Ansprli- 
che, 

dadurch gekennzeichnet, 
30 dass, nach Ausfuhren der Zuordnung von Graphemen zu Phonemen 
gemaii dem Verfahren nach Anspruch 1 fur jedes Wort des Lexi- 
kons, aus diesen Zuordnungen die positionsabhangige relative 
Haufigkeit ermittelt wird, mit der ein Phonem durch zwei oder 
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mehr Grapheme erzeugt wird oder zwei oder mehr Phoneme durch 
ein Graphem erzeugt werden oder zwei oder mehr Grapheme einem 
Phonem zugeordnet werden oder ein Graphem zwei oder mehr Pho- 
nemen zugeordnet wird. 

5. Verfahren nach Anspruch 4, 

dadurch gekennzeichnet, 

dass die Zuordnung von Graphemen zu Phonemen innerhalb eines 
Worts gemafi Anspruch 1 mit Hilfe der positionsabhangigen re- 
lativen Haufigkeiten korrigiert werden. 

6. Verfahren nach Anspruch 5, > 
dadurch gekennzeichnet, 

dass, nach Ausfuhren der Zuordnung von Graphemen zu Phonemen 
gemaiJ dem Verfahren nach Anspruch 3 fur jedes Wort des Lexi- 
kons, aus diesen korrigierten Zuordnungen die positionsabhan- 
gige relative Haufigkeit ermittelt wird, mit der ein Phonem 
durch zwei oder mehr Grapheme erzeugt wird bzw. zwei oder 
mehr Phoneme durch ein Graphem erzeugt werden; und 
dass in Anspruch 3 anschlieliend die neu berechneten relativen 
Haufigkeiten verwendet werden. 

7. Verfahren nach Anspruch 6, < 
dadurch gekennzeichnet, 

dass zum Bestimmen der relativen Haufigkeiten nur solche Zu- 
ordnungen beriicksichtigt werden, bei denen der Matrixeintrag 
fur das letzte Phonem und das letzte Graphem nach Ausfuhren 
der Multiplikationen einen vorgegebenen Schwellwert uber- 
schreitet. 

8. Verfahren nach mindestens einem der vorhergehenden Ansprli- 
che, 

dadurch gekennzeichnet, 



200014687 



19 

dass der Matrixeintrag fur das erste Phonem und das erste 
Graphem jedes Worts auf 1 gesetzt wird; 

dass der Matrixeintrag fur das letzte Phonem und das letzte 
Graphem jedes Worts auf 1 gesetzt wird; 
5 dass der Matrixeintrag fur das erste Phonem und das letzte 
Graphem jedes Worts auf 0 gesetzt wird; und 

dass der Matrixeintrag fiir das letzte Phonem und das erste 
Graphem jedes Worts auf 0 gesetzt wird. 

10 9. Verfahren nach mindestens einem der vorhergehenden Ansprii- 
che, 

dadurch gekennzeichnet, 

dass, falls bei der Bestimmung des Maximalwerts der drei vor- 
hergehenden Matrixeintrage der Matrixeintrag fiir das vorher- 
15 gehende Phonem und das vorhergehende Graphem im Wort und ei- 
ner der anderen beiden Eintrage gleich grofi sind, der Matrix- 
eintrag fiir das vorhergehende Phonem und das vorhergehende 
Graphem im Wort als maximal betrachtet wird. 

20 10. Computerprogrammprodukt , das durch einen Computer aus- 

fiihrbar ist und dabei die Schritte nach einem der Anspriiche 1 
bis 9 ausftihrt . 

11 . Computerprogrammprodukt, das auf einem computer ge eigne ten 
25 Medium gespeichert ist und computerlesbare Programmmittel um- 

fasst, die es einem Computer ermoglichen, das Verfahren nach 
einem der Anspriiche 1 bis 9 auszufuhren. 

12. Datentrager, auf dem ein Computerprogramm gespeichert 
30 ist, das es einem Computer ermoglicht, durch einen Ladepro- 

zess das Verfahren nach einem der Anspriiche 1 bis 9 auszufuh- 
ren . 
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13. Computersystem zum Zuordnen von Phonemen zu den sie er- 
zeugenden Graphemen in einem Lexikon mit Wortern (Graphemfol 
gen) und deren zugehoriger Lautschrift (Phonemf olgen) 

- mit einer Speichereinrichtung (22, 30) zum Speichern eines 
Computerprogramms auf einem Speichermedium; 

- mit einer Verarbeitungseinheit (20) zum Laden des Computer 
programms aus der Speichereinrichtung und zum Ausfiihren des 
Computerprogramms ; 

- mit Mitteln zum Durchfuhren der Zuordnung mit Hilfe eines 
Algorithmus der dynamischen Zeitanpassung (DTW, Dynamic Time 
Warping) . 
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Zusammenf as sung 

Zuordnen von Phonemen zu den sie erzeugenden Graphemen 

Das Zuordnen von Phonemen zu den sie erzeugenden Graphemen in 
einem Lexikon mit Wortern (Graphemf olgen) und deren zugehori- 
ger Lautschrift (Phonemf olgen) fur die Vorbereitung von Mus- 
tern fur das Training von Neuronalen Netzen zur Graphem- 
Phonem-Konvertierung wird mit einer Variante der dynamsichen 
Programmierung durchgefuhrt , die auch als dynamic time war- 
ping (DTW, dynamische Zeitanpassung) bekannt ist. 
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